"Tôi vẫn sáp nhập tất cả những phong cách mà tôi yêu mến trong hai album Breakthrough và Coco, nhưng đây là một chương hoàn toàn mới," cô có chia sẻ như thế trong một lần phỏng vấn cùng Tạp chí Billboard. "Tôi có thêm nhiều trải nghiệm hơn và có dịp sáng tác cùng nhiều tác giả mới tài năng, nhưng nó vẫn lại là thể loại nhạc cũ, cảm nhận và âm thanh vẫn như thế. Các bài hát được phối theo nhịp điệu nhanh hơn trong album lần này, và nó là một album tràn ngập hơi thở mùa hè."[5]Caillat bắt đầu khâu thu âm cho All of You vào năm 2010 tại California và hoàn tất album giữa chuyến lưu diễn của cô vào mùa hè cùng năm. Rapper kiêm diễn viên Common là người góp mặt duy nhất trong album với bài hát "Favorite Song". Họ gặp nhau lần đầu tại một sự kiện nhỏ của Giải Grammy năm 2009 và nảy sinh ý định hợp tác cùng nhau. "Tôi luôn yêu mến âm nhạc của Common trong nhiều năm liền", Caillat chia sẻ về sự kết hợp kì lạ của họ, "Anh ấy lúc đó đang chuẩn bị hát bài 'The Light', và anh ấy cần một nữ ca sĩ [hát phần điệp khúc] và tôi cứ như là, 'Tôi biết lắm mà!' Sau đó anh ấy cứ như là, 'Tôi yêu các bài hát và giọng hát của cô'. Chúng tôi mất đến khoảng 1 năm để thực hiện cùng nhau, nhưng nó lại đạt thành công hơn sức mong đợi của tôi."[3] Bill Lamb có đánh giá ca khúc này trên About.com một cách vô cùng tích cực khi mô tả bài hát "tuơi sáng, đầy hơi thở mùa hè, và hoàn toàn quyến rũ".[8] Caillat còn đồng sáng tác hai ca khúc khác trong album cùng với tác giả chuyên dòng nhạc pop Ryan Tedder (người từng làm việc cùng Kelly Clarkson, Beyoncé, Leona Lewis), trong khi Toby Gad, Jason Reeves và Rick Nowels cũng đều được ghi nhận sáng tác cho "All of You." Trong lúc đó, bạn trai của Caillat lúc bấy giờ cũng là một ca sĩ tên là Justin Young, có viết 3 bài hát trong album cùng cô, một trải nghiệm mà cô cho là "rất nhiều niềm vui. Tôi chưa bao giờ có cảm tình với một anh chàng là ca sĩ bao giờ, và giờ đây tôi đang sở hữu một anh chàng bạn trai chơi guitar và piano rất cừ và một giọng hát tuyệt vời... nó nghe hơi sến súa nhưng thật sự rất tuyệt, vì chúng tôi có viết những bài hát nói về mối quan hệ của cả hai và nó mang chúng tôi gần nhau hơn."[3]